当潜在推理中的引导失效：潜在到语言转换差距
🧭 LLM 潜在推理可控性分析
HKUST(GZ) · SEU
发现 latent CoT 中激活引导对后续语言生成的影响远弱于显式 CoT，定位潜在到语言转换差距为核心障碍
📌 工作参考价值（4 点）
- 在推荐/Agent 场景若引入 latent CoT 或 continuous thought 来降低推理 token 成本，不要假设通过 steering hidden states 就能可靠地改变最终推荐解释、query 或对话行为；需在语言输出层或显式 CoT 阶段做干预。
- 评估任何 latent reasoning 控制方法时，指标应使用最终生成文本的任务成功率/语义变化，而不是隐藏状态移动距离或 probing 准确率，因为存在 latent-to-language transition gap。
- 如果业务里需要用 activation steering 做风格/安全/品牌语调控制，优先对显式 CoT 或最终输出前几层施加，避免在连续推理中间层低效干预。
- 在设计 latent CoT 架构时，可以将 transition boundary（hidden state -> language head）作为专门可学习的适配层或对齐目标，以缩小潜在干预到文本生成的衰减。
从参数到答案：LLM 如何检索并使用其内部知识
🧭 LLM 内部知识检索机制与可解释性
University of Science and Technology of China · Singapore Management University · The University of Tokyo · The Chinese University of Hong Kong
通过层间干预分离LLM问答中的请求路由信息与目标知识依赖，揭示层间交接模式并跨模型比较
📌 工作参考价值（4 点）
- 层间干预方法可迁移到生成式推荐/商品文案场景：在 LLM 的 hidden states 上分别拟合『请求方向』和『内容知识』probe，定位模型哪几层完成用户意图路由、哪几层提取事实性知识，帮助诊断 query 理解偏差或事实错误。
- 跨模型实验表明路由-内容交接模式并不统一（如 Llama 无持续路由效应窗口），因此在多模型集成、蒸馏或对隐藏状态做干预时，不能假设同一中间层都适合注入知识或引导；需要按模型分别标定有效窗口。
- 对 RAG/Agent 检索增强推荐有借鉴：论文显示问题结束时已存在可读的路由和内容表示，后续层才发生交接，可在路由已稳定但内容依赖尚在形成的层注入检索到的商品知识或候选，减少外部知识与内部参数知识的冲突。
- 局限：主要是机制解释性贡献，业务收益需要自行验证，但可作为 LLM4Rec 内部行为分析和故障定位工具。
基于隐藏状态相对表示的参考式 LLM 偏见检测
🧭 LLM 偏见审计·相对表示
NASK - National Research Institute, Poland · Warsaw University of Technology, Poland · Gdańsk University of Technology, Poland
用隐藏状态与锚点句的相似度构建相对表示，在共享空间中度量微调前后偏见偏移 ΔB
📌 工作参考价值（4 点）
- 可用于业务模型上线前/微调后的低成本偏见回归监控：不依赖输出级标注或裁判模型，直接对 checkpoint 隐藏状态做 ΔB 检测，约 3 分钟完成，适合 CI 流程。
- 在电商推荐/广告文案生成等场景，可借鉴相对表示方法，用固定锚点句集合编码不同群体/属性，快速审计模型对性别、地域、品牌等的隐含关联漂移。
- 对 LoRA/PEFT 微调尤其注意：结果更依赖模型，建议结合输出级评估使用，不要单独作为放行标准。
- 若业务中已有针对敏感群体的句子模板，可将 ΔB 作为模型迭代时的内部指标，与输出 A/B 测试互补，提前拦截高风险检查点。
预测之预测：层间激活融合实现LLM单遍幻觉检测
🧭 LLM幻觉检测·隐藏层动态
提出PoP机制，融合跨层隐藏状态捕获层转移不确定性，在单次前向中检测LLM事实错误
📌 工作参考价值（4 点）
- 对LLM生成的推荐文案、商品描述、搜索query等文本，可在单次前向中提取跨层隐藏状态作为事实置信度信号，用于低成本过滤或风险分级，弥补输出token概率的不足。
- PoP的<1.2%延迟开销适合在线生成式推荐系统，可在不增加额外采样的情况下对生成结果做实时健康度评估，触发人工审核或降级。
- 该机制在TruthfulQA上AUROC仅75.5%，且缺乏跨域验证，在电商场景落地前需用自有业务数据验证检测精度与阈值稳定性。
- 层间转移不确定性可作为特征加入现有质量/风控模型，特别针对商品属性、价格、活动规则等事实性易错点。
深入不公正法官：LLM评判偏差的机制可解释性分析
🧭 机制可解释性 · 评估偏差
AMAP, Alibaba Group · Mohamed bin Zayed University of Artificial Intelligence · University of Southern California · University of Michigan, Ann Arbor
从隐藏状态几何揭示LLM评判偏差的可控子空间，实现因果转向与失败预测，超越文本方法
📌 工作参考价值（4 点）
- 使用线性探针（linear projection）在隐藏态上检测评分偏差，无需修改提示，可实时监控在线评估系统的公平性，例如在电商搜索排序的LLM打分环节预警。
- 通过激活向量偏向子空间的方向进行“激活转向（activation steering）”，无需重新训练或注入few-shot示例即可校正偏见，低成本提升推荐理由生成、对话评估等场景的客观性。
- 将偏见建模为低维子空间可作为特征用于失败预测，在未见数据上大幅超越纯文本方法，可集成到推荐系统的离线评估pipeline中自动标注可疑打分。
- 方法跨评判模型、跨偏见类型通用，适合在广告创意评分、商品评论有用性评估等多场景复用，减少人工校验成本。
诊断 LLM Agent 过早承诺：隐状态收敛监测
🧭 Agent 推理过程故障诊断 · 隐状态收敛监测
Snowflake AI Research
定义并诊断 Agent 过早承诺：跨运行隐状态收敛预示轨迹僵化，但不反映正确性
📌 工作参考价值（4 点）
- 在多步推荐、购物助手等 Agent 场景中，可监控固定步骤的隐状态余弦相似度，当跨运行相似度过高时触发干预（如重新提示或增加探索），防止过早锁定次优推荐路径。
- 借鉴 Prompt 干预：在指令中加入“考虑其他解释或替代方案”，可将行为方差降低 28% 而不损害准确性，可用于提升推荐多样性或避免 Agent 过早排除候选。
- 注意该信号仅指示过程稳定性而非正确性，适合用作过程控制（如动态调整探索程度），不宜直接作为正确性过滤器。
- 该方法跨模型、跨任务可复现，可直接集成到 Agent 监控系统，实现轻量级轨迹一致性检测（AUROC 最高 0.97），无需依赖最终答案质量。